iT邦幫忙

2025 iThome 鐵人賽

DAY 12
0
AI & Data

AI初學者入門系列 第 12

Day12 ollama與docker

  • 分享至 

  • xImage
  •  

ollama是什麼?
是一個開源的本地語言模型執行平台,可以讓你在自己電腦上執行模型(不需要連網)

docker是什麼?
是一個虛擬容器,可以幫你快速啟動一個完整的應用程式,不需要手動安裝每個東西。

對於初學者來說,很容易上手~~

不需逐步安裝環境變數或 Python 套件,docker run 一鍵搞定

要如何運行??
第一種方法: 在終端機使用(以VS Code舉例)
先去官網下載ollama,
在終端機輸入ollama pull XXX(自己想要的模型)
輸入ollama run XXX就可使用ollama

這裡是以llama3做舉例,完成後長這樣。

https://ithelp.ithome.com.tw/upload/images/20250814/20177905SpnxSCfdQV.png

第二種方法: 在網站上使用

前提要先到官網下載docker
再到命令提示字元 輸入:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

完成後顯示
https://ithelp.ithome.com.tw/upload/images/20250814/20177905BbAv4DJLOk.png

按下3000:8080,到ollama做註冊
ollama的網站左上角有models,有很多模型可選,
https://ithelp.ithome.com.tw/upload/images/20250814/20177905ii2vvqSbRr.png

到終端機輸入ollama pull XXX(想要的模型)
例如:我想要gemma3n:e4b這個模型,輸入ollama pull gemma3n:e4b
https://ithelp.ithome.com.tw/upload/images/20250814/20177905NeGpbvKm0q.png

回到剛登入完的頁面如果想要增加其他的模型,再設定的連線中輸入api 金鑰,前置ID為想要的模型,儲存完就可以使用了
https://ithelp.ithome.com.tw/upload/images/20250814/201779052CPukXvs4B.png

出現在選單中
https://ithelp.ithome.com.tw/upload/images/20250814/20177905dUbDkzhofr.png


上一篇
Day11 建立 PDF 問答機器人
下一篇
Day13 介紹 n8n
系列文
AI初學者入門30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言